Pada tahun 802 M., Harun al-Rashid, iaitu ayahanda kepada al-Ma'mun dan al-Amin, memerintahkan agar al-Amin menggantikannya dan al-Ma'mun dilantik sebagai gabenor di Khurasan dan akan menjadi khalifah selepas kematian al-Amin. Al-Ma'mun sebenarnya lebih layak menggantikan ayahandanya Harun al-Rashid kerana beliau lebih bijaksana dan berkebolehan berbanding dengan abangnya al-Amin, tetapi ibunya adalah berbangsa Parsi manakala bonda al-Amin pula adalah sebahagian daripada keluarga kerajaan Abbasiyah yang memerintah. Selepas kematian Harun al-Rashid pada tahun 809 M., perhubungan di antara kedua adik-beradik ini mengalami keretakan. Sebagai tindak balas kepada gerakan kemerdekaan al-Ma'mun, al-Amin telah mengisytiharkan puteranya sendiri Musa sebagai pewarisnya. Pelanggaran wasiat Harun al-Rasyid telah mencetuskan perang saudara di mana al-Ma'mun telah membawa tentera Khurasan yang dipimpin oleh Tahir bin Husain (822M. ), menewaskan tentera al-Amin dan melancarkan perang ke atas kota Baghdad. Pada tahun 813, al-Amin telah dibunuh dan al-Ma'mun telah menjadi khalifah untuk seluruh empayar Abbasiyah.